We present 3DHumanGAN, a 3D-aware generative adversarial network (GAN) that synthesizes images of full-body humans with consistent appearances under different view-angles and body-poses. To tackle the representational and computational challenges in synthesizing the articulated structure of human bodies, we propose a novel generator architecture in which a 2D convolutional backbone is modulated by a 3D pose mapping network. The 3D pose mapping network is formulated as a renderable implicit function conditioned on a posed 3D human mesh. This design has several merits: i) it allows us to harness the power of 2D GANs to generate photo-realistic images; ii) it generates consistent images under varying view-angles and specifiable poses; iii) the model can benefit from the 3D human prior. Our model is adversarially learned from a collection of web images needless of manual annotation.

Co-speech gesture is crucial for human-machine interaction and digital entertainment. While previous works mostly map speech audio to human skeletons (e.g., 2D keypoints), directly generating speakers' gestures in the image domain remains unsolved. In this work, we formally define and study this challenging problem of audio-driven co-speech gesture video generation, i.e., using a unified framework to generate speaker image sequence driven by speech audio. Our key insight is that the co-speech gestures can be decomposed into common motion patterns and subtle rhythmic dynamics. To this end, we propose a novel framework, Audio-driveN Gesture vIdeo gEneration (ANGIE), to effectively capture the reusable co-speech gesture patterns as well as fine-grained rhythmic movements. To achieve high-fidelity image sequence generation, we leverage an unsupervised motion representation instead of a structural human body prior (e.g., 2D skeletons). Specifically, 1) we propose a vector quantized motion extractor (VQ-Motion Extractor) to summarize common co-speech gesture patterns from implicit motion representation to codebooks. 2) Moreover, a co-speech gesture GPT with motion refinement (Co-Speech GPT) is devised to complement the subtle prosodic motion details. Extensive experiments demonstrate that our framework renders realistic and vivid co-speech gesture video. Demo video and more resources can be found in: https://alvinliu0.github.io/projects/ANGIE

Video recognition in an open and dynamic world is quite challenging, as we need to handle different settings such as close-set, long-tail, few-shot and open-set. By leveraging semantic knowledge from noisy text descriptions crawled from the Internet, we focus on the general video recognition (GVR) problem of solving different recognition tasks within a unified framework. The core contribution of this paper is twofold. First, we build a comprehensive video recognition benchmark of Kinetics-GVR, including four sub-task datasets to cover the mentioned settings. To facilitate the research of GVR, we propose to utilize external textual knowledge from the Internet and provide multi-source text descriptions for all action classes. Second, inspired by the flexibility of language representation, we present a unified visual-linguistic framework (VLG) to solve the problem of GVR by an effective two-stage training paradigm. Our VLG is first pre-trained on video and language datasets to learn a shared feature space, and then devises a flexible bi-modal attention head to collaborate high-level semantic concepts under different settings. Extensive results show that our VLG obtains the state-of-the-art performance under four settings. The superior performance demonstrates the effectiveness and generalization ability of our proposed framework. We hope our work makes a step towards the general video recognition and could serve as a baseline for future research. The code and models will be available at https://github.com/MCG-NJU/VLG.

在计算机视觉和图形社区中，长期以来，现实的生成面部视频综合一直是追求。但是，现有的视频生成方法倾向于产生具有漂移的面部身份和不自然运动的低质量框架。为了应对这些挑战，我们提出了一个名为stylefacev的原则框架，该框架生产具有生动动作的高保真身份的面部视频。我们的核心洞察力是分解外观并构成信息，并在StyleGan3的潜在空间中重新组装它们，以产生稳定而动态的结果。具体而言，stylegan3为高保真的面部图像生成提供了强大的先验，但潜在空间本质上是纠缠的。通过仔细检查其潜在特性，我们提出了分解和重组设计，从而可以使面部外观和运动的结合结合在一起。此外，依赖时间依赖的模型是建立在分解的潜在特征的基础上的，并示例了能够生成现实且具有时间连贯的面部视频的合理运动序列。特别是，我们的管道对静态图像和高质量视频数据的联合培训策略进行了培训，该策略具有更高的数据效率。广泛的实验表明，我们的框架可以在定性和定量上实现最先进的视频生成。值得注意的是，即使没有高分辨率培训视频，StyleFacev也能够生成现实$ 1024 \ times1024 $面对视频。

大规模数据集在面部生成/编辑的最新成功中扮演着必不可少的角色，并显着促进了新兴研究领域的进步。但是，学术界仍然缺乏具有不同面部属性注释的视频数据集，这对于与面部相关视频的研究至关重要。在这项工作中，我们提出了一个带有丰富面部属性注释的大规模，高质量和多样化的视频数据集，名为高质量的名人视频数据集（CelebV-HQ）。 Celebv-HQ至少包含35,666个视频剪辑，分辨率为512x512，涉及15,653个身份。所有剪辑均以83个面部属性手动标记，涵盖外观，动作和情感。我们对年龄，种族，亮度稳定性，运动平滑度，头部姿势多样性和数据质量进行全面分析，以证明CelebV-HQ的多样性和时间连贯性。此外，其多功能性和潜力在两个代表性任务（即无条件的视频生成和视频面部属性编辑）上得到了验证。此外，我们设想了Celebv-HQ的未来潜力，以及它将带来相关研究方向的新机会和挑战。数据，代码和模型公开可用。项目页面：https：//celebv-hq.github.io。

视频对视频合成（VID2VID）在从一系列语义图中生成照片真实视频方面取得了显着的结果。但是，该管道遭受了高计算成本和较长的推理潜伏期的损失，这在很大程度上取决于两个基本因素：1）网络体系结构参数，2）顺序数据流。最近，基于图像的生成模型的参数已通过更有效的网络体系结构显着压缩。然而，现有方法主要集中于减肥网络体系结构，而忽略了顺序数据流的大小。此外，由于缺乏时间连贯性，基于图像的压缩不足以压缩视频任务。在本文中，我们提出了一个时空的压缩框架，\ textbf {fast-vid2vid}，该框架着重于生成模型的数据方面。它首次尝试减少计算资源并加速推理。具体而言，我们在空间上压缩输入数据流并减少时间冗余。在提出的时空知识蒸馏之后，我们的模型可以使用低分辨率数据流合成密钥框架。最后，快速VID2VID通过运动补偿以轻微延迟为中间框架插入中间框架。在标准基准测试中，快速VID2VID围绕实时性能达到20 fps，并在单个V100 GPU上节省了约8倍的计算成本。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

通用事件边界检测（GEBD）是视频理解中的一项重要但挑战性的任务，该任务旨在检测人类自然感知事件边界的时刻。在本文中，我们为GEBD任务提供了本地上下文建模和全局边界解码方法。提出了局部上下文建模子网络来感知通用事件边界的各种模式，并生成强大的视频表示和可靠的边界信心。基于它们，全局边界解码子网络被利用为从全局视图解码事件边界。我们提出的方法在动力学-GEBD测试集上达到了85.13％的F1得分，与基线方法相比，它实现了22％以上的F1得分增强。该代码可从https://github.com/jackytown/gebd_challenge_cvpr2022获得。

尽管已经对音频驱动的说话的面部生成取得了重大进展，但现有方法要么忽略面部情绪，要么不能应用于任意主题。在本文中，我们提出了情感感知的运动模型（EAMM），以通过涉及情感源视频来产生一次性的情感谈话面孔。具体而言，我们首先提出了一个Audio2Facial-Dynamics模块，该模块从音频驱动的无监督零和一阶密钥点运动中进行说话。然后，通过探索运动模型的属性，我们进一步提出了一个隐性的情绪位移学习者，以表示与情绪相关的面部动力学作为对先前获得的运动表示形式的线性添加位移。全面的实验表明，通过纳入两个模块的结果，我们的方法可以在具有现实情感模式的任意主题上产生令人满意的说话面部结果。

本文重点介绍了弱监督的视频视频解析任务，该任务旨在识别属于每种模式的所有事件并定位其时间界。此任务是具有挑战性的，因为只有表示视频事件的整体标签用于培训。但是，事件可能被标记，但不会出现在其中一种方式中，这导致了特定于模态的嘈杂标签问题。在这项工作中，我们提出了一种培训策略，以动态识别和删除特定于模式的嘈杂标签。它是由两个关键观察的动机：1）网络倾向于首先学习干净的样本； 2）标记的事件至少以一种方式出现。具体而言，我们将每个实例在每种模式中单独分别对所有实例的损失进行排序，然后根据模式内和模式间损耗之间的关系选择嘈杂的样本。此外，我们还通过计算置信度低于预设阈值的实例的比例来提出一种简单但有效的噪声比率估计方法。我们的方法对先前的艺术状态进行了大量改进（\ eg，从60.0 \％到63.8 \％\％在细分级视觉度量中），这证明了我们方法的有效性。代码和训练有素的模型可在\ url {https://github.com/mcg-nju/jomold}上公开获得。